GitHub巅峰之作,阿里架构师带你深入理解Kafka:核心设计与实践原理

您所在的位置:网站首页 kafka 时间轮 GitHub巅峰之作,阿里架构师带你深入理解Kafka:核心设计与实践原理

GitHub巅峰之作,阿里架构师带你深入理解Kafka:核心设计与实践原理

2023-06-22 09:30| 来源: 网络整理| 查看: 265

Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。

自上次遭受了面试官 「Kafka」 的暴击追问后,回来发奋图强,企图“「吊打面试官」”,奈何还是面试官套路深啊,公司内部大佬给小编准备了一份大佬的Kafka内部使用指南,我看了一下,确实是很强,所以也提供给这篇文章的粉丝。

限于文章篇幅原因,只能以截图的形式展示出来,有需要的小伙伴可以文末获取↓↓↓

一、对Kafka的认识

1.Kafka的基本概念

2.安装与配置

3.生产与消费

4.服务端参数配置

二、生产者

1.客户端开发

2.原理分析

​3.重要的生产者参数

三、消费者

1.消费者与消费组

2.客户端开发

四、主题与分区

1.主题的管理

2.初识KafkaAdminCilent

3.分区的管理

4.如何选择合适的分区数

五、日志存储

1.文件目录布局

2.日志格式的演变

3.日志索引

4.日志清理

5.磁盘存储

六、深入服务端

1.协议设计

2.时间轮

3.延时操作

4.控制器

5.参数解密

七、深入客户端

1.分区分配策略

2.消费者协调器和组协调器

3._consumer_offsets剖析

4.事务

八、可靠性探究

1.副本剖析

2.日志同步机制

3.可靠性分析

九、Kafka应用

1.命令行工具

2.Kafka Connect

3.Kafka Mirror Maker

4.Kafka Streams

十、Kafka监控

1.监控数据的来源

2.消费滞后

3.同步失效分区

4.监控指标说明

5.监控模块

十一、高级应用

1.过期时间(TTL)

2.延时队列

3.死信队列和重试队列

4.消息路由

5.消息轨迹

6.消息审计

7.消息代理

8.消息中间件选型

十二、Kafka与Spark的集成

1.Spark的安装及简单应用

2.Spark编程模型

3.Spark的运行结构

4.Spark Streaming简介

5.Kafka与Spark Streaming的整合

6.Spark SQL

7.Structured Streaming

8.Kafka与Structured Streaming的整合

​限于文章篇幅原因,就展示到这里了,有需要的小伙伴可以查看下方名片↓↓↓ 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3